Lâu đài đầu tiên được xây dựng bởi Công tước Masovia vào đầu thế kỷ 13.[1] Tuy nhiên, trong thế kỷ tiếp theo, tòa án của họ đã được chuyển đến Lâu đài Hoàng gia tương lai ở Warsaw và Lâu đài Ujazdów rơi vào tình trạng bị bỏ rơi. Vào thế kỷ 16, một trang viên bằng gỗ đã được xây dựng ở đó cho Nữ hoàng Bona Sforza.[1] Tại Lâu đài Ujazdów, vào ngày 12 tháng 1 năm 1578, vở bi kịch của Jan Kochanowski - Sự từ bỏ của các phái viên Hy Lạp đã được công chiếu trong đám cưới của Jan Zamoyski và Krystyna Radziwiłł.[2]

Sau chiến tranh, tòa nhà sẽ được xây dựng lại thành Nhà quân sự trung tâm. Tuy nhiên, các công trình đã không được bắt đầu khi các bức tường của lâu đài bị phá hủy bởi chính quyền Cộng sản Ba Lan. Tuy nhiên, vào năm 1975, các công trình tu sửa lâu đài theo thiết kế từ thế kỷ 18 của nó đã được bật đèn xanh và dự án của Piotr Biegański đã được chọn.[1] Nó là nơi tọa lạc của Trung tâm Nghệ thuật Đương đại của Warsaw (Centrum Sztuki Współczesnej) từ năm 1985.[3]